La universalité de la linéarité est peut-être le raccourci le plus puissant en théorie des probabilités. Elle permet de calculer l'espérance d'une somme de variables aléatoires en additionnant simplement leurs espérances individuelles, indépendamment du fait que ces variables soient indépendantes, corrélées ou mutuellement exclusives.
1. Fondements et proposition 2.1
Pour comprendre pourquoi l'espérance se comporte si de manière linéaire, nous examinons le Théorème de l'observateur inconscient (LOTUS) pour les systèmes multivariés. Proposition 2.1 affirme que si $X$ et $Y$ ont une fonction de masse de probabilité conjointe $p(x, y)$, alors l'espérance de toute fonction $g(X, Y)$ est :
$$E[g(X, Y)] = \sum_{y} \sum_{x} g(x, y) p(x, y)$$
Pour les variables continues ayant une densité de probabilité conjointe $f(x, y)$, la forme intégrale équivalente est :
$$E[g(X, Y)] = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} g(x, y) f(x, y) dx dy$$
2. Le principe de linéarité
En appliquant LOTUS à la fonction $g(X, Y) = X + Y$, nous déduisons le théorème central de cette leçon : $E[X + Y] = E[X] + E[Y]$. Cela s'étend naturellement à toute collection finie :
$E\left[\sum_{i=1}^n X_i\right] = \sum_{i=1}^n E[X_i]$
Cela est « universel » car il ne nécessite aucune hypothèse sur la distribution conjointe. Que les variables soient indépendantes ou fortement dépendantes, la moyenne de la somme est la somme des moyennes.
Exemple 2a : Le problème de l'ambulance
Considérons un accident en position $X$ sur une route de longueur $L$ et une ambulance en position $Y$, où $X, Y \sim U(0, L)$ et sont indépendantes. En utilisant le LOTUS multivarié pour trouver $E[|X-Y|]$ :
La densité de probabilité conjointe est $f(x, y) = 1/L^2$ pour $0 \le x, y \le L$.
$$E[|X-Y|] = \int_0^L \int_0^L |x-y| \frac{1}{L^2} dx dy = \frac{L}{3}$$
3. Monotonie et bornes
L'espérance préserve l'ordre des variables aléatoires. Si $X \ge Y$ pour tous les résultats, alors $E[X] \ge E[Y]$. Cela découle de Exemple 2b: si $X - Y \ge 0$, alors $E[X - Y] \ge 0$. En outre, si une variable est bornée tel que $P\{a \le X \le b\} = 1$, alors il s'ensuit que $a \le E[X] \le b$.
4. La moyenne d'échantillon (exemple 2c)
Soit $X_1, \dots, X_n$ un échantillon provenant d'une distribution de moyenne $\mu$. La moyenne d'échantillon est définie par :
$$\bar{X} = \sum_{i=1}^{n} \frac{X_i}{n}$$
En raison de la linéarité, $E[\bar{X}] = \frac{1}{n} \sum E[X_i] = \frac{n\mu}{n} = \mu$. La valeur attendue de la moyenne d'échantillon est $\mu$, prouvant qu'elle est un estimateur non biaisé.
- Les $X_i$ sont toutes des variables aléatoires non négatives.
- La série est absolument convergente : $\sum_{i=1}^\infty E[|X_i|] < \infty$.